Mã Văn Thụy sinh ngày 4 tháng 11 năm 1912 trong một gia đình khá giả ở Tử Châu, Thiểm Tây, Trung Quốc. Mẹ ông mất khi ông mới bốn tuổi. Khi lên 14 tuổi, ông bắt đầu học về chủ nghĩa Mác.[1] Ông tham gia Đoàn Thanh niên Cộng sản Trung Quốc năm 1926, và tham gia vào nhiều phong trào sinh viên khác nhau. Sau đó, ông làm việc trong việc kích động cách mạng ở tỉnh nhà của ông. Năm 1935, ở tuổi 23, ông góp phần vào việc thành lập hai Xô viết ở Thiểm Tây. Trong chiến tranh Trung-Nhật lần thứ hai, ông làm việc ở miền bắc Thiểm Tây gần căn cứ Cộng sản ở Diên An, và nghiên cứu khoa học quân sự tại Đại học Quân sự và Chính trị kháng Nhật. Ông là một trong những nhà lãnh đạo chính của Văn phòng Tây Bắc của Đảng Cộng sản, và là một trong những người theo Tập Trọng Huân đầu tiên.[1][2][3]